Off-Policy Evaluation for Missingness-Aware Policies in MDPs with Rewards Missing Not at Random
奖励非随机缺失MDP的离线策略评估方法
🧭 离线策略评估 · 缺失非随机奖励
Department of Statistics, University of Michigan at Ann Arbor · Department of Statistics and Applied Probability, University of California at Santa Barbara · Department of Mathematical Sciences, University of Texas at Dallas
利用未来状态与桥函数识别MNAR奖励，构建缺失感知的FQE式OPE估计量
📌 工作参考价值（4 点）
- 离线评估奖励缺失场景：当用户反馈（点击/转化）稀疏且非随机缺失时，传统OPE有偏，可采用影子变量（未来状态）和桥函数方法纠正选择偏误，提升评估准确性。
- 利用用户后续行为作为工具变量：在用户路径数据中，后续浏览、停留时长等可作为影子变量，帮助推断缺失的转化奖励，无需依赖不可验证的缺失机制假设。
- FQE式实现：工程上可基于Fitted Q-Evaluation框架，用神经网络学习Q函数，并集成桥函数通过min-max优化估计，避免显式建模缺失模型和双重采样，适合大规模推荐系统。
- 支持缺失感知策略评估：新策略可根据历史缺失模式调整动作（例如对不活跃用户增加激励），本方法允许评估此类策略，更贴合实际业务需求。